Нужно прокачать МЕВ-модель, 
но как? 


(нь) ННГоаа"* 


Прохор Гладких, дааккп.р.и@зБефапк.ги, 24.11.22 


ой 


я ПИ ПР 


“Зы 


5яилза а3а$ и) 


(нь) ННГоаа"" 


Что сейчас будет? 


Автор: Прохор Гладких 

Должность: [еаа Ваа 5сепи$1 

Опыт: ОЁ, РУПоп, С++, са, уама, ОЦесйуе-С 
Опыт: 10 лет 

Длительность доклада: 30 мин 

Вопросы: 15 мин после выступления 


3 (но) ННЕоаа"" 


Салют 


Распознавание Классификация 
речи намерения 


)) 


Обработка навыком 


МЕВ 


4 (но) ННЕоаа"" 


Салют 


Распознавание Классификация 
речи намерения 


)) 


Обработка навыком 


- (но) НЕНоаа"" 


Постановка задачи МЕН” 


- крупнейший банк в России, Центральной и 
‚ атакже один из лидирующих 
международных финансовых институтов. 


подписал указ о создании сберегательных касс. Эта дата 
считается днем рождения 


* - Матед ЕтКу Кесовп оп 


6 (но) НЕНоаа"" 


® Введение 


Улучшение процесса разметки и 
контроль качества 


подготовке датасета? 


[3 Как избежать распространенных проблем при 


О чем этот 
Инструмент анализа ошибок 
доклад? — @ > 


@ На чем подняли качество 
Вопросы == 
(нь) Неноаа*" 


На чем мы замеряем качество модели? 


- 1е$? 


8 (но) НЕНЕоаа*" 


На чем мы замеряем качество модели? 


. [е5: 97 Н 

* Репутационная корзина: 95 11 Найди аптеки рядом 

. Частотная корзина: 11 11 Включи звуки для засыпания 
. Частотная корзина СЕСО: 70 11 Автовокзал 


. Еще 7 корзин... 


9 (но) ННЕоаа"" 


На чем мы замеряем качество модели? 


Лучше замерять качество МЕР на нескольких корзинах 


1е5: 97 Н 

Репутационная корзина: 95 11 
Частотная корзина: 11 11 
Частотная корзина СЕО: 70 11 


Еще 7 корзин... 


(нь) ННЕоаа"" 


О чем я НЕ буду рассказывать? 


. Как писать тат-оор 
. Как ставить эксперименты и проводить А/В 


11 (но) НЕНЕоаа*" 


Улучшение процесса разметки и контроль качества 
— слова или словосочетания, относящиеся к адресам, странам, городам, 


© озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Маршрут до станции метро Охотный ряд 


12 (но) НЕНЕоаа"" 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 
озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Маршрут до станции метро Охотный ряд 


Маршрут до станции метро Охотный ряд 


Маршрут до станции метро 


13 (но) о ны 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 
озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Маршрут до станции метро охотный ряд 


Маршрут до станции метро Охотиыияд 
Маршрут до станции МЕропОхотныйряя 
Маршрут до ВайЩийИетро Охотный ряя 


14 (но) о ны 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 


— юс_ озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Маршрут до станции метро охотный ряд 


Маршрут до станции метро Охотиыияд 
Маршрут до станции МЕ ВОКОХОТИЫРЯЯ 
Маршрут до ВРайЩИИ ИЕ роохотный ряя 


15 (но) НИЕНГоаа** 


Улучшение процесса разметки и контроль качества 
— слова или словосочетания, относящиеся к адресам, странам, городам, 


© озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Куда сходить на массаж? 


16 (но) НИЕНГоаа** 


Улучшение процесса разметки и контроль качества 


ии 


— слова или словосочетания, относящиеся к адресам, странам, городам, 
озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Куда сходить на массаж? 


Куда сходить на массаж? 
Куда сходить на Маебаж? 


Куда сходить на массаж? 


(нь) ННЕоаа"* 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 
озерам, рекам, горам, достопримечательностям или адрес целиком 


_ Об — — слова или словосочетания, относящиеся к организациям, компаниям 


или их категориям 


Куда сходить на массаж? 


Куда сходить на массаж? 
Куда сходить на Маебаж? 


Куда сходить на массаж? 


18 (но) о ные 


Улучшение процесса разметки и контроль качества 
— слова или словосочетания, относящиеся к адресам, странам, городам, 


— юс_ озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Найди круглосуточный магазин 


19 (но) НИЕНГоаа** 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 


— юс_ озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Найди круглосуточный магазин 


Найди круглосуточный Магазин 
Найди круглосуточный магазин 


20 (но) НИЕНГоаа** 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 


— юс_ озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Найди круглосуточный магазин 


Найди круглосуточный Магазин 
Найди круглосуточный магазин 


21 (но) НЕНЕоаа*" 


Улучшение процесса разметки и контроль качества 
— слова или словосочетания, относящиеся к адресам, странам, городам, 


— юс_ озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Путь до продуктового круглосуточного магазина 


22 (но) НЕНЕоаа*" 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 


— юс_ озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Путь до продуктового круглосуточного магазина 


Путь до продуктового круглосуточного Магазина 
Путь до продуктового Круппееужечногомагазина 
Путь до ПРОДУКТОВОГО круглосуточного Магазина 
Путь до продуктового круглосуточного магазина 


23 (но) а. 


Улучшение процесса разметки и контроль качества 


— слова или словосочетания, относящиеся к адресам, странам, городам, 


— юс_ озерам, рекам, горам, достопримечательностям или адрес целиком 


— слова или словосочетания, относящиеся к организациям, компаниям 
или их категориям 


Путь до продуктового круглосуточного магазина 


Путь до продуктового круглосуточного Магазина 
Путь до продуктового Круппбеужечногомагазина 
Путь до ПРОДУКТОВОГО круглосуточного Магазина 


24 (но) а . 


Улучшение процесса разметки и контроль качества 


я 


Ошибка 
разметки 


Невнимательность 
разметчика 


и Дорабатываем инструкцию 


в: 


1. Добавляем экзамен 
2. Увеличиваем перекрытие 


(нь) ННГоаа"" 


/) ЗВЕВ ОЕ\М1СЕЗ 


Перекрытие в разметке 


2 & № & № 


Включи песню Королевство кривых группы Пикник 


26 (но) НЕНГоаа** 


Перекрытие в разметке 


27 


 & № & № 


1. Включи песню Королевство кривых группы Пикник 
2. Включи песню Королевство кривых группы Пикник 


3. Включи песню 


4. Включи песню Королевство кривых группы Пикник 


5. Включи песню Королевство кривых группы Пикник 
(нь) ННЕоаа"" 


Согласованность 


28 


40% 


1. Включи песню Королевство кривых группы Пикник 
2. Включи песню Королевство кривых группы Пикник 
3. Включи песню Королевство кривых группы Пикник 


4. Включи песню Королевство кривых группы Пикник 


5. Включи песню Королевство кривых группы Пикник 
(нь) ННЕоаа"" 


Улучшение процесса разметки и контроль качества 


Доработка инструкции 


Разметка 


Анализ 
согласованности 


29 


(но) ННЕоаа"" 


Улучшение процесса разметки и контроль качества 


Доработка инструкции Согласованность 
90 


80 
70 
60 


50 
1 2 3 


Итерации 


Разметка 


Анализ 
согласованности 


30 (но) НИЕНГоаа*" 


Улучшение процесса разметки и контроль качества 


Доработка инструкции 


$ 
Разметка 


Анализ 
согласованности 


++ 
31 ны) НзРГоаа** 
Картинка: Найсоп.сот 2022 


Как предобработать датасет МЕВ перед обучением? 


1. Дедупликация текстов 


32 


(нь) ННЕоаа"" 


Как предобработать датасет МЕВ перед обучением? 


1. Дедупликация текстов 


33 


Исходные данные 


80 


© 
>) 


Плотность, % 
> 
о 


20 


10С РЕВЗОМ ОВС РКОБ \МОЕО ВООК СЕМВЕ МУ$!С СВОУР 
Типы сущностей 


(но) НЕБГоаа"" 


Как предобработать датасет МЕВ перед обучением? 


"ОВОУР 529, 
1. Дедупликация текстов а "МИ$ТС": 548, 


"РЕК$ОМ": 45352, 


2. Медайме Упаег Затр/!па И "СКОПР_МИЗТС": 491, 
о 1974, ь РЕК$ОМ_\ТОЕО" . 366 , 
раб": тот, ' "СЕМВЕ_РЕВ$0№": 257, 
“ооо: 57, "ОВб_РЕВ$0№": 243, 


"СВОУР_МУ$ТС": 491, 
"РЕВ$ОМ_\ТОЕО": 366, 


"СЕМВЕ_РЕВ$ОМ": 257, 
"ОВб_РЕК$ОМ": 243, 
"СЕМВЕ_\ТОЕО": 96, 
"СЕМВЕ_10ОС": 86, 
"ВООК_СЕМВЕ_РЕВ$ОМ": 82, 
"ОВб_РВОО": 46, 
"СКОУР_РЕВ$ОМ": 37, 
"ОС_РЕК$ОМ": 27, 

“ГОС _РВОО“: 23, 
"ОВб_\/ТОЕО": 17, 

“ВОК: 7, 
"СЕМВЕ_РЕВ$ОМ_\МТОЕО": 5, 
"ГОС \ТОЕО": 4, 
"0С_ОВб_РЕВ$ОМ": 3, 
"СВОУР_МУ$ТС_РЕВ$О0М": 3, 
“0С_0В6_РВОО": 2 


34 ОНИ (но) НИЕНЕоаа"" 


Как предобработать датасет МЕВ перед обучением? 


"СВОИР": 579, 


"ОС": 64587, 


1. Дедупликация текстов "<10_ЕАТТТУ>": 57965, "МУУТС": 548 , 
2. Медануе Упаег ЗатрИпо ео "СВОПР_МОЗТС": 491, 


"РЕКОМ _\/ТОЕО": 366 
3. Стратифицированное и | _ | ) 
разбиение на {гат/иайоЛез{ СЕМВЕ_РЕК5ОМ": 257, 
ыы "ОВб_РЕВЗОМ": 243, 
"СВОУР_МУ$ТС": 491, 
"РЕК$ОМ_\/ТОЕО": 366, 
"СЕМВЕ_РЕВ$О№": 257, 
"ОВб_РЕВЗОМ": 243, 
"СЕМВЕ_\ТОЕО": 96, 
"СЕМВЕ_ЁОС": 86, 
"ВООК_СЕМВЕ_РЕВ$ОМ": 8 
"ОВб_РКОО": 46, 
"СВОУР_РЕВ$ОМ": 37, 
"ВОС :РЕВ$ОМ" 27, 
“2ОС_РВОО“: 23, 
"ОВб_\УТОЕО": 17, 
ВОО: 7. 


[5%] 


"СЕМВЕ_РЕВ$ОМ_\МТОЕО": 5, 
"ЕОс _\ТОЕО": 4, 
"ЕоОС_0Вб_РЕК$ОМ": 3, 
"СВОУР_МУ$ТС_РЕВ$О0№": 3, 


“0С_0В6_РВОО": 2 


35 о (но) НЕНГоаа** 


Результат подготовки датасета к обучению 


36 


Плотность, % 


30- 


20- 


10- 


о 


Те$+, 12кК 


30- 
О №!94,12к | 


30 - 
Тат, 1190 | 

10- 

[ Г Мм Пи ВИ 

10С РЕВЗОМ ОВС РКОБ \МОЕО ВООК СЕМВЕ МУ$!С СВОУР 

Типы сущностей 
Г М ПИ 
10С РЕВ$ЗОМ ОВС в Е ВООК СЕМВЕ МУ$!С СВОИР 
Типы сущностей 


м 
о 


м 
о 
Плотность, % 


Плотность, % 
-- 
о 


о 


о 


10С РЕКОМ ОВС й Ш и СЕМВЕ МУ$!С СКОУР 


++ 
® ++ 
Типы сущностей (нь) НИзНГоая 


Ваша 
МЕВ-модель 
ошиблась 


УУУТЬ 


Инструмент анализа ошибок модели 


Исходные слова закажи | мне | чизкейк классический 
38 РАСО. (НЕ) Наньова" 


Инструмент анализа ошибок модели 


Добавить в тат 


Разработать 
инструмент анализа 
ошибок 


Исходные слова мне чизкейк классический 
39 РАСО. (НЕ) Неньсач“" 


Инструмент анализа ошибок модели 


Исходные слова закажи | мне | чизкейк классический 
40 РАО. (НЕ) Наньова" 


Инструмент анализа ошибок модели 


ВРЕ-токены ЕТ Смне Склассический 
Г г г Г 
Исходные слова | мне | чизкейк классический 


41 РАО. (НЕ) Манова" 


Инструмент анализа ошибок модели 


Векторы 
кодировщика 


Етбедта$ 


ВРЕ-токены 


Исходные слова 


Вобена 


закажи вс 6 чизкейк классический 


(нь) ННГоаа"* 


Инструмент анализа ошибок модели 


ее 
$. 
Роо|п5 
- ГЕ ИЕ ЗЕ | @. 
Векторы 
а 


Вобена 


== _ ее 


ВРЕ-токены 


Исходные слова 


закажи РР чизкейк классический 
РАСО. (нь) НЕНГоаа“" 


Инструмент анализа ошибок модели 
ее ии} 


-®. 
Роо|п5 
“ ПОР ИШЕ ИР в. 
Векторы 
мы 


Вобена 


с — ее 


ВРЕ-токены 


Исходные слова 


закажи РР чизкейк классический 
РАСО. (нь) НЕНГоаа“" 


Инструмент анализа ошибок модели 


{галп_еггог_зеагспег. гип( бискКеф, К_5еагсП=20 ) 


45 НЕ) Нньоаа 


(2 $ВЕВ ОЕМСЕ$ 


Инструмент анализа ошибок модели. Пример работы 


Правильно: 


Найди круглосуточные бавкоматы 


Предсказание модели: 
Найди круглосуточные банкоматы 


Тгат: 
’ Найди бавкомата 
. Построить маршрут до ближайшего банкомата 
. Проложи путь до ближайшего банкомата 
. Покажи маршрут до ближайшего 


. Подскажите адрес ближайшего банкомата 
. Добрый вечер! Скажите, в Абхазии есть банкоматы Сбербанка? 


46 (но) о ные 


Инструмент анализа ошибок модели. Пример работы 


Правильно: 


Найди круглосуточные бавкоматы 


Предсказание модели: 
Найди круглосуточные банкоматы 


Тгат: 
. Найди БЕНИН иран 
° Построить маршрут до ближайшего|банк разметки 


. Покажи маршрут до ближайшего 


. Подскажите адрес ближайшего 
. Добрый вечер! Скажите, в Абхазии естыбанкоматы Сбербанка? 


[© банкомата) > 
. Проложи путь до ближайшего банкомата / 


47 (НЕ) Ненеовя"" 


Инструмент анализа ошибок модели. Пример работы 


Правильно: 


Поехали до кремля 


Предсказание модели: 
Поехали до кремля 


Тгат: 


. Построй дорогу до кремля 

° Построить маршрут до кремля 

. Кратчайшая дорога до кремля 

. Как мне добраться до КВемля? 

. Помоги мне проложить маршрут до кремля 

. На каком виде транспорта можно доехать до кремля? 


48 


(нь) ННЕоаа"" 


Инструмент анализа ошибок модели. Пример работы 


Правильно: 


Поехали до кремля 


Предсказание модели: 
Поехали до кремля 


Тгат: 
Ошибки 


«-—— разметки 


. Построй дорогу до 
. Построить маршрут до 
. Кратчайшая дорога до 
. Как мне добраться до 
. Помоги мне проложить маршрут до кремля 

. На каком виде транспорта можно доехать до кремля? 


49 


(нь) ННЕоаа"" 


Что думает модель МЕН про это слово? 


Придуманный запрос: 
Построй-ка маршрут мне до УИ 


50 (но) НРГоая ыы 


Что думает модель МЕН про это слово? 


Придуманный запрос: 
Построй-ка маршрут мне до У 


{гатп_тпдех. зеагсй( "Построй-ка маршрут мне до <Луны>" ) 
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(но) ННГоаа"" 


(2 $ВЕВ ОЕМСЕ$ 


Что думает модель МЕН про это слово? 


Придуманный запрос: 


Построй-ка маршрут мне до ВЯ ов = 


Ближайшие запросы: 


* Маршрут до ПАакайки 
’ Построй маршрут до ПОрИзента 
. Построить маршрут до Кавинента 
. Проложи маршрут до ВМанеты 
. Как пройти до КОВАЙНента? 

. Сделай дорогу до КОвИНента 
. Построить маршрут до ВАаветы 
’ Построй мне маршрут до ИВТ пешком 
. Как доехать до ПЕЙ маршрут 


. Как доехать до Вббуса? 


52 (но) ННЕоаа"" 


Что думает модель МЕН про это слово? 


Придуманный запрос: 


Закажи доставку ВИЗАВЕВИВИОКАЯ 


53 (но) НРГоая ыы 


Что думает модель МЕН про это слово? 


Придуманный запрос: 


Закажи доставку ВЯВВИбИОКаХ 


{га1п_тпдех. еагсй( "Закажи доставку <гуся в яблоках>") 
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Что думает модель МЕН про это слово? 
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Придуманный запрос: 


Закажи доставку ВИЗАВЕВИВИВКАЯ 


Ближайшие запросы: 


Купить 
Найди 
Найди 


Найди 
Найди 
Купить 
Заказать 


(Не) Неньоаа" 


Как удалось прокачать качество? 


МЕВ 
90.8 (+20.3) 
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Расчет метрик на разных корзинах с ПРОМ-а 


Исправлена проблема лика, дубликатов и 
дисбаланса классов в датасете 


Переработана инструкция по разметке 
(100500 итераций) 


Размечен полностью новый датасет 
Разработан инструмент анализа ошибок МЕН 
Новая модель на основе Вобеца-!агде 
Другие манипуляции с датасетом 


(нь) ННЕоаа"" 


Как удалось прокачать качество? 


МЕВ 
90.8 (+20.3) 


Эй 


Расчет метрик на разных корзинах с ПРОМ-а 


Исправлена проблема лика, дубликатов и ^+4 #1 


дисбаланса классов в датасете 


(100500 итераций) 

Размечен полностью новый датасет “+4 1 
Разработан инструмент анализа ошибок МЕН 
Новая модель на основе Нобеца-!агде ^+9 #1 


Переработана инструкция по разметке | 
п 
+ `+3И 


Другие манипуляции с датасетом 


(нь) ННЕоаа"* 


аще А! Вау 


30 ноября 


Приходите пообщаться с нашими 
командами 5$БегОемсе$ 


Подробности в чате встречи 


Время вопросов 


Прохор Гладких 


©) ргопог33 


[вп ргопог-а!аакки 
[№ ргопога!аакки 


Е ргопога!ачкки 


Ссылка на слайды: 


5поЦии.а/етЕсС\/ 


Обратная связь 


(нь) ННЕоаа"" 


(2) $ВЕР ОЕМ!СЕ$ 


